Theo tài liệu lịch sử, lối kiến trúc một cột có từ trước đời nhà Lý. Ở Hoa Lư, Ninh Bình trong ngôi chùa Nhất Trụ mà con gái vua Đinh Tiên Hoàng tu hành, có một cây cột đá cao, tám cạnh, khắc bài kinh Lăng Nghiêm, đề niên hiệu thời Lê Hoàn (981–1005). Phía trên cột là tòa sen chạm. Năm Long Thụy Thái Bình thứ năm đời Lý Thánh Tông (1058) có xây điện Linh Quang ở Thăng Long, phía trước điện dựng lầu chuông, một cột tám cạnh hình bông sen. Như vậy, trước khi xây chùa Một Cột, lối kiến trúc đó đã là một thực tế nghệ thuật cổ truyền.

Ngôi chùa có kết cấu bằng gỗ, trong chùa đặt tượng Phật bà Quan Âm để thờ. Năm 1105, vua Lý Nhân Tông cho mở rộng kiến trúc khu chùa có thêm hồ Linh Chiểu. Về sau, quy mô chùa Một Cột chỉ còn lại ngôi chùa nhỏ trên cột đá như hình ảnh hiện nay. Thực dân Pháp trước khi rút khỏi Hà Nội đã cho nổ mìn phá chùa. Tuy nhiên, chùa đã được trùng tu cơ bản như trước. Chùa Một Cột hiện nay bao gồm đài Liên Hoa hình vuông, chiều dài mỗi cạnh 3 m, mái cong, dựng trên cột cao 4 m (không kể phần chìm dưới đất), đường kính 1,2 m có cột đá là 2 khúc chồng lên nhau thành một khối. Tầng trên của cột là hệ thống những đòn gỗ làm giá đỡ cho ngôi đài ở trên. Đài Liên Hoa có mái ngói, bốn góc uốn cong, trên có Lưỡng long chầu nguyệt. Trong quan niệm người Việt, rồng luôn là con vật linh thiêng, biểu tượng cho quyền uy, sức mạnh. Và hình ảnh "Lưỡng long chầu nguyệt" trên các mái đình đền, chùa chiền không chỉ biểu tượng cho sức mạnh thần thánh mà còn ẩn trong đó những giá trị nhân văn, phản chiếu trí tuệ, ước vọng của con người và nền văn minh cổ xưa. Ngày nay không có những cánh sen trên cột đá như đã nói đến trong bia văn thời nhà Lý, nhưng ngôi chùa dựng trên cột vươn lên khỏi mặt nước vẫn là kiến trúc độc đáo, gợi hình tượng một bông sen vươn thẳng lên khỏi ao. Ao được bao bọc bởi hàng lan can làm bằng những viên gạch sành tráng men xanh. Kiến trúc chùa xây dựng gần với kiến trúc nhà Hậu Lê.

Trong vườn chùa hiện có một cây bồ đề xum xuê từ đất Phật, do Tổng thống Ấn Độ Rajendra Prasad tặng nhân dịp Chủ tịch Hồ Chí Minh qua thăm Ấn Độ năm 1958.

Ngày nay, chùa Một Cột là một trong những điểm tham quan du lịch được rất nhiều du khách ghé thăm khi đặt chân đến Hà Nội.Chùa Một Cột cũng đã được công nhận là ngôi chùa có kiến trúc độc đáo nhất Châu Á.